Función lineal de tipo hiperplano: Es una función de base cuyo valor de red corresponde a una combinación lineal de las entradas.

\[u_{i}(w,x)=\sum_{j=1}^{n}w_{ij}x_{j}\]

Función radial de tipo hiperesférico:

Las funciones de activación se dividen en dos tipos como: lineal y no lineal

Red neuronal

1. Asignamos a cada conexión neuronal un peso con un valor pequeño, pero no nulo.

2. Introducimos la primera observación de nuestro conjunto de entrenamiento por la capa inicial de la red neuronal.

3. La información se propaga de izquierda a derecha, activando cada neurona que ahora es afectada por el peso de cada conexión, hasta llegar a la capa de neuronas de salida, obteniendo el resultado final para esa observación en concreto.

4. Medimos el error que hemos cometido para esa observación.

5. Comienza la propagación hacia atrás de derecha a izquierda, actualizando los pesos de cada conexión neuronal, dependiendo de la responsabilidad del peso actualizado en el error cometido.

6. Repetimos los pasos desde el paso 2, actualizando todos los pesos para cada observación o conjunto de observaciones de nuestro conjunto de entrenamiento.

7. Cuando todas las observaciones del conjunto de entrenamiento ha pasado por la red neuronal, hemos completado lo que se denomina un Epoch. Podemos realizar tantos Epochs como creamos convenientes.

• Valores iniciales: Se hace referencia a los valores que los pesos iniciales pueden tomar. Así, es recomendable llevar acabo una asignación de pesos pequeños generados de forma aleatoria.
• Sobreajuste: La principales causas de los errores en los resultados de las redes neuronales se deben al sobreajuste de los datos
• Escalado de las entradas:Respecto al escalado de las entradas se tiene que, resulta preferible estandarizar todas las entradas para que tengan una media de cero y una desviación estándar de uno.
• Número de capas y unidades ocultas:El número de unidades ocultas está directamente relacionado con las capacidades de la red. Es decir para que el comportamiento de la red sea correcto.

La mayoría de las aplicaciones de las redes neuronales consisten en:

Finanzas: Previsión de la evolución de los precios, Valoración del riesgo de los créditos, Identificación de falsificaciones, Interpretación de firmas.

Manufacturación: Robots automatizados y sistemas de control (visión artificial y sensores de presión, temperatura, gas, etc.), Inspección de la calidad.

Militares: Clasificación de las señales de radar y Reconocimiento y seguimiento en el tiro al blanco.

El conjunto de datos

Se hará uso del conjunto de datos denominado: “Boston” perteneciente al paquete MASS. El conjunto de datos de Boston es una colección de datos sobre el valor de las viviendas en los suburbios de Boston. Nuestro objetivo es predecir el valor medio de las viviendas ocupadas por sus propietarios (medv) utilizando todas las demás variables continuas disponibles.

set.seed(500)
suppressMessages(library(MASS))
suppressMessages(library(neuralnet))
data <- Boston

Inicialmente se verifica que no falte ningún punto de datos; de lo contrario, es necesario corregir el conjunto.

apply(data,2,function(x) sum(is.na(x)))

##    crim      zn   indus    chas     nox      rm     age     dis     rad     tax 
##       0       0       0       0       0       0       0       0       0       0 
## ptratio   black   lstat    medv 
##       0       0       0       0

En esta ocasión, vamos a utilizar 2 capas ocultas con esta configuración:

\[13: 5: 3: 1\]

La capa de entrada tiene 13 entradas, las dos capas ocultas tienen 5 y 3 neuronas y la capa de salida tiene, por supuesto, una única salida ya que estamos haciendo regresión.

n <- names(train_)
f <- as.formula(paste("medv ~", paste(n[!n %in% "medv"], collapse = " + ")))
nn <- neuralnet(f,data=train_,hidden=c(5,3),linear.output=T)
plot(nn)

El paquete neuralnet proporciona una buena herramienta para trazar el modelo. Esta es la representación gráfica del modelo con los pesos en cada conexión:

Modelo red neuronal

• Las líneas negras muestran las conexiones entre cada capa y los pesos en cada conexión.

• Las líneas azules muestran el término de sesgo agregado en cada paso.

• El sesgo se puede pensar como la intersección de un modelo lineal.

• Finalmente, el algoritmo de entrenamiento ha convergido y, por lo tanto, el modelo está listo para ser utilizado.

Ahora es posible predecir los valores para el conjunto de prueba y calcular el MSE.

pr.nn <- compute(nn,test_[,1:13])

pr.nn_ <- pr.nn$net.result*(max(data$medv)-min(data$medv))+min(data$medv)
test.r <- (test_$medv)*(max(data$medv)-min(data$medv))+min(data$medv)

MSE.nn <- sum((test.r - pr.nn_)^2)/nrow(test_)

print(paste(MSE.lm,MSE.nn))

## [1] "31.2630222372615 16.4595537665717"

A continuación se muestra un primer enfoque visual del rendimiento de la red y el modelo lineal en el conjunto de prueba.

A partir de la figura anterior es posible evidenciar que las predicciones hechas por la red neuronal están (en general) más concentradas alrededor de la línea (una alineación perfecta con la línea indicaría un MSE de 0 y, por lo tanto, una predicción perfecta ideal) que las realizadas por el modelo lineal.

A continuación se muestra una comparación visual más útil:

Red neuronal real vs. predicción